2025 Seoul Workshop on Philosophy of Machine Learning
원문
DAY 1 (Feb 25)
| 09:30-10:00 | Registration | |
|---|---|---|
| 10:00-10:10 | Opening | Welcoming Address Sungkyu Jung (Director of IDIS, Seoul National University)Opening Remarks Hyundeuk Cheon (Seoul National University) |
| 10:10-11:00 | Invited Talk 1 | Will the Advancement of AI Let Us Redefine Science? Insok Ko (Inha University) |
| 11:00-11:10 | Break | |
| 11:10-12:00 | Invited Talk 2 | Predictively-valid “Alien” Features, or Artifacts? Coping with Inscrutable Scientific Progress Cameron Buckner (University of Florida) |
| 12:00-13:30 | Lunch | |
| 13:30-14:50 | Contributed Talks 1 | Beyond Tools: How Working with Coding AI Reshapes Cognition, Agency, and Subjectivity Yubeen Kwon (Seoul National University)Distributed and Probabilistic Model of Representation Lee-Sun Choi (Ewha Womans University) |
| 14:50-15:10 | Break | |
| 15:10-16:00 | Invited Talk 3 | Isolationism for Holists Andre Curtis-Trudel (University of Cincinnati) Emily Sullivan (Utrecht University) |
| 16:00-16:10 | Break | |
| 16:10-18:10 | Contributed Talks 2 | Artificial Possibilities Bojana Grujičić (Max Planck School of Cognition) Augmented Intellect: AI as Extended Mind in Scientific Understanding Injin Woo (Sungkyunkwan University)Autonomous Weapon Systems and Just War Theory: A Critical Reevaluation of Jus in BelloPrinciple Sangsu Kim (Korea Military Academy) |
DAY 2 (Feb 26)
| 09:30-09:40 | Registration | |
|---|---|---|
| 09:40-10:30 | Invited Talk 4 | AI and the Logic of Scientific Discovery Yeongseo Yeo (Dongduk Women’s University) |
| 10:30-10:40 | Break | |
| 10:40-12:00 | Contributed Talks 3 | Prediction, Projection, and Performativity Konstantin Genin (University of Tübingen) Predicting Black Swan Events: The Final Frontier of Machine Learning? Wonki Her (Seoul National University) |
| 12:00-13:30 | Lunch | |
| 13:30-14:20 | Invited Talk 5 | On Finding What You’re (not) Looking for: Prospects and Challenges for AI-driven Discovery Andre Curtis-Trudel (University of Cincinnati) |
| 14:20-14:30 | Break | |
| 14:30-15:20 | Invited Talk 6 | The Moral Importance of Explainable AI Kate Vredenburgh (London School of Economics and Political Science) |
| 15:20-15:40 | Break | |
| 15:40-16:30 | Invited Talk 7 | Foundation Models in Healthcare Require Rethinking Reliability Thomas Grote (University of Tübingen) |
| 16:30-16:40 | Break | |
| 16:40-18:00 | Contributed Talks 4 | Beyond Opacity: Why Implementation Details Matter in Understanding ML Models Hyung Suk Lee (Seoul National University)AI as a Pathway to Scientific Knowledge? Nikolaj Jang Lee Linding Pedersen (Yonsei University) Jens Christian Bjerring (Aarhus University) |
| 18:00-18:10 | Closing |
ABSTRACTS
Invited Talk 1
Will the Advancement of AI Let Us Redefine Science?
Insok Ko (Inha University)
According to T. S. Kuhn, science is a collective activity of solving still unsolved puzzles recognized in a specialized domain of research, and this activity is guided by one or more exemplary instances of concrete problem solving. Today, we have more and more cases of scientific research in which AIs are utilized as essential tools. Though the AI agents do not have subjective motivation to solve the puzzle, they will emerge as powerful actors that solve some of the puzzles in a Kuhnian way, or at least help (human-) scientists do it. This would imply that the concepts of science, scientists, and scientific research will change. Will the advancement of AI induce us to redefine science? I will discuss this question from a couple of perspectives.
Invited Talk 2
Predictively-valid “Alien” Features, or Artifacts? Coping with Inscrutable Scientific Progress
Cameron Buckner (University of Florida)
Systems like AlphaFold raise the prospect of predictive AI systems that can blow past previous upper bounds on the performance of hand-designed analytical models in many areas of scientific analysis. It is difficult to disagree with the results of these systems, which can achieve predictive accuracy on problems that were thought to be too complex or chaotic for human scientific theory to solve. However, these models may base their predictions on features that are in some sense beyond the cognitive grasp of humans–“alien” properties that may have predictive utility but which are not natural or cognitively accessible to us. In this talk I will analyze these properties by beginning with a discussion of adversarial attacks, and discuss methods for coping with this epistemic situation in a scientific regime which increasingly relies on complex deep learning models for data analysis.
Invited Talk 3
Isolationism for Holists
Andre Curtis-Trudel (University of Cincinnati)
Emily Sullivan (Utrecht University)
Models often idealize their target phenomenon; but when are idealizations successful and how might we evaluate idealizations? Holists argue that justifying and evaluating models and their idealizations must proceed holistically and cannot be a function of aggregating or assessing individual parts of models. The holist argument comes from different pressure points. For some highly complex models it seems practically unfeasible to isolate where model failures occur due to opacity and complexity in interactions between different parts of the model. In other cases, it seems that isolationism suffers from a more fundamental problem: idealizations cannot be removed or isolated without radically changing the character of the model itself. In this talk, we look at the example of AlphaFold, a highly complex model in machine learning. AlphaFold is a paradigmatic example of the kind of highly complex model well suited for the holist project. However, we argue that decomposition and isolationism are necessary (and indeed possible) for evaluating the AlphaFold’s idealizations and the way they contribute to its success. As a result, we argue that holists should endorse the isolationist project.
Invited Talk 4
AI and the Logic of Scientific Discovery
Yeongseo Yeo (Dongduk Women’s University)
Is deep learning AI reliable? AlphaFold2, a deep learning AI renowned for its accurate protein structure predictions, won the 2024 Nobel Prize in Chemistry. Its empirical success is undeniably impressive. However, many philosophers remain concerned about its epistemic opacity. Like other deep learning models, AlphaFold2 operates as a “black box,” meaning that its internal decision-making processes are not entirely interpretable. This lack of transparency raises fundamental questions: When should we rely on deep learning AI, and when not? What conditions must deep learning AI meet to be considered reliable? Can scientific knowledge be derived solely from deep learning AI? Philosophers have extensively debated these concerns, and with the groundbreaking success of AlphaFold2 and AlphaFold3, it is time to raise a new question: Can their empirical achievements challenge the skeptical or pessimistic views of philosophers on AlphaFold and deep learning AI?
Duede (2023) suggests that deep learning AI may be valuable in the context of discovery, where it generates plausible hypotheses, but not in the context of justification, where scientific claims require rigorous testing and confirmation. But is this old distinction the only way to defend deep learning AI? Should we conclude that an epistemically opaque system like AlphaFold2 is ultimately unreliable?
Ortmann (2025) challenges this skepticism by distinguishing between why-reliability and whether-reliability. He argues that even if we do not fully understand why AlphaFold2 is reliable, we can still determine whether it is reliable or not. The whether-reliability of alphaFold2 has already been demonstrated through its empirical success. Furthermore, its widespread adoption in contemporary scientific research provides additional support for its whether-reliability. After all, an unreliable tool would not be so extensively used in scientific practice.
Yet, many skeptical philosophers would remain unconvinced. For example, Duede (2022) insists that brute inductive considerations are never enough, that is, transparency is essential for true reliability. Similarly, Mitchell (2020) argues that empirical success must be accompanied by epistemic warrant, since reliability arises from the combination of theory’s epistemic warrant and the stability of supporting evidence.
This presentation explores, in response to Duede and Mitchell, whether the Logic of Discovery, understood as a set of problem-solving heuristics, can provide the necessary epistemic warrant for AlphaFold and deep learning AI. The idea is that the methods and principles underlying AlphaFold’s development may serve as a foundation for establishing its why-reliability. By articulating the heuristics that guided the creation of AlphaFold, we may be able to offer sufficient epistemic warrant to address concerns about the transparency required for AlphaFold and deep learning AI.
Invited Talk 5
On Finding What You’re (not) Looking for: Prospects and Challenges for AI-driven Discovery
Andre Curtis-Trudel (University of Cincinnati)
Recent high-profile scientific achievements by machine learning (ML) and especially deep learning (DL) systems have reinvigorated interest in ML for automated scientific discovery (e.g., Wang et al. 2023). Much of this work is motivated by the thought that DL methods might facilitate the efficient discovery of phenomena, hypotheses, or even models or theories more efficiently than traditional, theory-driven approaches to discovery. This talk considers some of the more specific obstacles to automated, DL-driven discovery in frontier science, focusing on gravitational-wave astrophysics (GWA) as a representative case study. In the first part of the talk, we argue that despite these efforts prospects for DL-driven discovery in GWA remain uncertain. In the second part, we advocate a shift in focus towards the ways DL can be used to augment or enhance existing discovery methods, and the epistemic virtues and vices associated with these uses. We argue that the primary epistemic virtue of many such uses is to decrease opportunity costs associated with investigating puzzling or anomalous signals, and that the right framework for evaluating these uses comes from philosophical work on pursuitworthiness.
Invited Talk 6
The Moral Importance of Explainable AI
Kate Vredenburgh (London School of Economics and Political Science)
Understanding AI systems is important not just epistemically, but also morally. In this talk, I will do three things. First, I will argue an account of the moral values that are important for two different types of AI systems, what we might call predictive machines versus agents. I argue that enabling individuals to engage in informed self-advocacy is important for predictive machines, whereas values like trust and interpersonal respect are important for agents. The type of AI system thus has implications for what kind of explanations we should aim at, and corresponding scientific paradigms in XAI. Second, for predictive machines, I will use the example of credit scoring to argue that we face a fundamental tension between explaining how to be someone who has some property P and how to be judged to be someone who has some property P. Because of static modeling choices, and uncertainty, the two come apart. While the latter is attractive from a mathematical perspective, it requires background institutions that lessen the cost of mistakes to individuals. The former, however, may not suitably enable informed self-advocacy. Third, I will argue that interpersonal justification is important for agents, even artificial agents, but that providing justifications requires a responsiveness to reasons and social norms that artificial agents lack.
Invited Talk 7
Foundation Models in Healthcare Require Rethinking Reliability
Thomas Grote (University of Tübingen)
A new class of AI models, called foundation models, has entered healthcare. Foundation models violate several basic principles of the standard machine learning paradigm for assessing reliability – they are tested with data they might have seen during training, trained with data from different and oftentimes opaque sources, and generate outputs whose adequacy for purpose is difficult to assess. These violations make it necessary to rethink what guarantees we require to establish warranted trust into foundation models.
Contributed Talks 1
Beyond Tools: How Working with Coding AI Reshapes Cognition, Agency, and Subjectivity
Yubeen Kwon (Seoul National University)
What does it mean to work alongside AI? What changes are required to collaborate effectively? How does collaborating with AI reshape our understanding of cognition, agency, and subjectivity?
AI is distinguished from previous technologies in its ability to perform functions traditionally associated with human cognition, such as learning, problem-solving, and autonomous decision-making. Since the release of OpenAI’s ChatGPT, workplaces across various sectors have explored ways to integrate generative AI, sparking critical questions about its effective use in workflows and the management of human-AI teams.
In the software development community, coding AI tools such as GitHub Copilot have rapidly gained traction, becoming integral to developers’ practices. This presentation draws on in-depth interviews with 30 developers who routinely use coding AI—including GitHub Copilot, Code Whisperer, Claude, and ChatGPT—as well as observational research on their workflows. The developers formed relationships with AI that go beyond just using it as a tool – they treat it as an assistant, partner, and sometimes even as an extension of themselves. Notably, developers actively “teach” AI their intentions and goals, gradually shaping them into their ‘digital doppelgängers’ through iterative interactions and feedback. This shows how developers aren’t just delegating tasks to AI – they’re sharing their thinking processes with it.
Using cognitive and human-machine interface frameworks, this presentation explores the dynamic unfolding of agency in human-AI collaboration, emphasizing the roles of both human and non-human agencies. Frameworks such as distributed cognition and cognitive assemblage illuminate how cognitive processes are redistributed and reconfigured in these interactions. Developers increasingly view AI not merely as a tool but as an extension of their own cognitive processes, resulting in what can be termed a cognitive assemblage. Through analysis of the interactions between human developer and coding AI, this presentation demonstrates the necessity of an expanded concept of subjectivity that reflects the complex entanglements of cognition and agency in everyday interactions with AI.
Distributed and Probabilistic Model of Representation
Lee-Sun Choi (Ewha Womans University)
How is the representation of the world constructed? Roughly speaking, a representation system receives data from external sources, encodes it through its input system, and combines this encoded information in the internal system to deliver and maintain it in working memory. Our world representation is not solely composed of information about individual entities, such as Garfield, Tom, or Cheshire, but also includes representations of categories, such as cats. These categories are called concepts. We represent the world using concepts.
Research on representational systems in artificial intelligence can be broadly divided into two processes. The first is the process of concept application, which explains how newly provided information is categorized within an existing conceptual framework. The second is the process of concept formation, which describes how new concepts are created based on data. This study focuses on the latter process, discussing how world representation is determined through concept formation.
This study proposes a new representational theory that integrates two major theories in artificial intelligence and cognitive science: distributed representation and probabilistic representation. Distributed representation, a core theory in deep learning, particularly in natural language processing and computer vision, places data in a feature space composed of multiple dimensions. For example, an image of a cat is represented by extracting low-level features such as contours, edges, colors, and textures, which are then combined into more complex features like “having ears” or “having a tail.” This feature space can be seen as a high-dimensional coordinate system, where each feature serves as an axis, and the input data is represented as a single point, or vector, in this space. A point can be understood as a combination of various features.
Probabilistic representation models, on the other hand, interpret the process of concept formation as analyzing clusters of data in the feature space using specific likelihood functions. Dense data clusters, especially those isolated from other clusters, are more likely to be individuated as single concepts. In contrast, sparse clusters or patterns with multiple clusters are more likely to be interpreted as multiple concepts. This model opens the possibility for various observers to construct equivalent world representations based on the same data, assuming that no privileged world representation, such as a “God’s view,” exists. This aligns with the characteristics of human representation and also sets the conditions for the emergence of new concepts.
However, if different world representation models exist, they must be translatable into one another; otherwise, each model risks being solipsistically isolated. This study proposes a method to evaluate the agreement of concepts in different feature spaces using quantitative metrics based on Kullback-Leibler divergence, assessing the consistency and differences between concepts.
Nevertheless, integrating distributed and probabilistic representations entails several limitations. For instance, the composition of the feature space—what features and how many of them are included—can lead to entirely different clusters for the same external input data. This discrepancy makes translating concept-based clusters across models challenging and highlights the constraints of assuming that all world representation models share the same dimensional structure of the feature space. This study explores the implications of these limitations for designing representation models and investigates the possibilities and boundaries of an integrated representational theory.
Contributed Talks 2
Artificial Possibilities
Bojana Grujičić (Max Planck School of Cognition)
Science often deals with issues pertaining to possibilities, contingencies and necessities, by engaging in thought experiments and modeling. This talk discusses how much modal scientific understanding can be obtained by the use of deep neural networks in cognitive science. One epistemically useful feature of neural networks is their runnability – they can be trained to perform a cognitive task and can run when given novel stimuli, demonstrating possibilities of cognitive phenomena based on sets of inductive biases. I focus on the problem of justification of neural network-based inferences about possibilities and outline a plausible justificatory strategy. I consider a number of reasons for taking neural network-demonstrated possibilities to be technological, rather than biological possibilities. Despite this, I argue that they add to our modal scientific understanding of cognitive phenomena.
Augmented Intellect: AI as Extended Mind in Scientific Understanding
Injin Woo (Sungkyunkwan University)
In this paper, I argue that Artificial Intelligence (AI) advances scientific understanding through the mechanism of (socially) extended cognition. Many researchers speculate that AI, upon reaching AGI, may satisfy certain conditions for agency, such as intentionality and autonomy. By examining the conceptual framework of extended cognition and integrating perspectives from Pritchard and Khalifa’s epistemologies, I demonstrate how AI transcends traditional tool-based cognition to become an active participant in scientific understanding.
AI can be considered extended cognition, as defined by Chalmers and Clark (1998). Extended cognition involves integrating human cognitive processes with external environments or tools. Three essential conditions must be met: reliable coupling, direct availability, and automatic endorsement. AI is deeply integrated into human life, operating consistently and dependably (e.g., AI assistants). It responds instantly to questions or commands, supporting human cognitive demands in real time. AI systems earn user trust through repeated use and positive experiences. Just as smartphones have demonstrated their potential to function as extended cognition—despite initial technical limitations—AI also holds the potential to constitute extended cognition (Helliwell, 2019).
Building upon the concept of extended cognition, we now turn to the idea of socially extended cognition. Pritchard (2022) explains scientific knowledge by emphasizing how collaboration contributes to understanding. Socially extended cognition occurs when the information-processing activities of others are integrated into an individual’s cognitive process, leading to knowledge beyond individual capability. If AI possesses agency, it can function as part of our socially extended cognition. AI supports and complements cognitive processes through collaboration with humans, unlike human collaboration, which may lack direct availability. AI minimizes or eliminates these limitations, reinforcing its role as a form of socially extended cognition. Pritchard limited his discussion to scientific knowledge, but I aim to integrate it with research on scientific understanding.
To grasp how this socially extended cognition enhances not just scientific knowledge, but also scientific understanding, we turn to Khalifa’s EKS model. Khalifa emphasizes that knowledge, particularly explanatory knowledge acquired through scientific explanatory evaluation (SEEing), is at the heart of understanding. SEEing in the EKS Model is a process of considering and comparing a range of plausible potential explanations, then selecting the most compelling one based on evidence and other explanatory considerations. This process of scientific inquiry goes beyond mere belief, leading to well-justified, reliable understanding that minimizes accidental or coincidental elements. Consequently, AI plays a pivotal role in enhancing SEEing, whether as a tool or as a collaborative partner.
Building on this discussion, a critical review of scientists’ research (Krenn et al., 2022) on how AI contributes to scientific understanding highlights three key dimensions: (1) computational microscope, (2) resource of inspiration, and (3) agent of understanding. As a data processing and evaluation tool, AI enhances researchers’ ability to compare potential explanations and identify the most compelling ones. As a collaborator, AI generates hypotheses, refines frameworks, and enhances human cognition, thereby strengthening scientific evaluation. Through these dual roles, AI transforms the processes of SEEing, ultimately contributing to enhanced scientific understanding.
Autonomous Weapon Systems and Just War Theory: A Critical Reevaluation ofJus in BelloPrinciple
Sangsu Kim (Korea Military Academy)
The emergence of Autonomous Weapon Systems (AWS), driven by the revolutionary advancements in artificial intelligence (AI), has fundamentally transformed modern warfare, calling for a critical reevaluation of the jus in bello principles within the framework of Just War Theory (JWT). AWS, as a product of AI innovation, operate independently, making critical decisions without human intervention, thereby enhancing operational efficiency. However, their autonomy raises serious ethical concerns about their ability to adhere to the core principles of discrimination and proportionality under JWT. These concerns are particularly significant given that AWS are weapon systems involving decisions that directly impact human lives, underscoring the urgent need for robust ethical frameworks to govern their use.
Jus in bello is a set of ethical principles that govern the conduct of war, requiring all moral agents involved in warfare to uphold its standards. Widely accepted as a foundational moral guideline in international contexts, these principles serve as the minimum ethical framework for ensuring the dignity and rights of individuals, even in the unavoidable circumstances of war. In particular, discrimination and proportionality are key to maintaining the moral legitimacy of warfare by protecting innocent civilians and ensuring that the use of force remains strictly aligned with legitimate military objectives.
The principle of discrimination requires a clear distinction between combatants and non-combatants, safeguarding civilians and other protected entities from unnecessary harm. This principle assumes that decision-makers can assess complex battlefield scenarios and make judgments consistent with international humanitarian law. Nonetheless, AWS, relying on preprogrammed algorithms and datasets, face significant challenges in identifying non-combatants accurately in dynamic and unpredictable environments. When incomplete or biased datasets influence AWS decision-making, there is a heightened risk of serious violations of the principle of discrimination.
The principle of proportionality demands that the harm caused by military actions be balanced against the anticipated military advantage. This principle requires nuanced assessments that go beyond mere calculations, incorporating moral and contextual factors. Yet, AWS operate based on predefined parameters, potentially failing to account for the complexity of real-world situations. The possibility of unforeseen outcomes further calls into question whether AWS can consistently uphold the proportionality principle in practice.
This presentation critically examines whether AWS can effectively adhere to the principles of discrimination and proportionality. It evaluates the technical and ethical capabilities of AWS to distinguish between combatants and non-combatants, avoid unlawful targets, and make decisions that align with human moral standards. Furthermore, it explores whether the use of lethal force by AWS can be justified under the principle of proportionality and discusses the extent to which human oversight is necessary to ensure compliance with these ethical principles.
The presentation is structured around three key discussions. First, it analyzes the technical characteristics and operational roles of AWS to assess whether they align with the established principles of JWT. Second, it reevaluates the ethical and practical interpretations of discrimination and proportionality to determine their applicability to AWS. Third, it proposes alternative approaches to reconfiguring jus in bello principles to reflect the ethical challenges posed by advanced technologies like AWS in modern warfare.
Ultimately, this presentation highlights the ethical urgency of scrutinizing AWS, given their origins in AI innovation and their life-and-death implications. It seeks to provide a framework for assessing AWS within the ethical boundaries of jus in bello, aiming to balance technological innovation with moral accountability. This approach contributes to redefining the ethical standards of modern warfare while ensuring justice and humanity remain central in the context of evolving conflicts.
Contributed Talks 3
Prediction, Projection, and Performativity
Konstantin Genin (University of Tübingen)
It is widely recognized that in social contexts predictions are not mere causally inert prognostications about future outcomes, but have a causal impact on the outcomes that they intend to predict. This is especially the case when predictions directly inform policy decisions. When predictions can be self-fulfilling, or self-undermining, pragmatic and epistemic considerations are entangled, and the notion of accuracy becomes ambiguous. Moreover, the notion of inductive risk must be revisited: values do not only come into play because the consequences of different kinds of error must be weighed, but also because we worry that predictions might be right for the wrong reasons. Many proposals have been made on how to deal with performativity, including “endogenizing” performative effects, or making predictions that steer outcomes in socially desirable directions. We argue that these approaches are misguided. Many undesirable performative effects arise because the outputs of machine learning models are ambiguous between predictions that predict outcomes by implicitly guessing which policy will be adopted, and counterfactual projections that predict outcomes were some policy option selected. Once we make the right distinction between prediction and projections, pragmatic and epistemic issues can be cleanly distinguished. We argue that only by aiming at accurate projections can machine learning models be not only decision-supportive but discourse-supportive: furnishing the relevant projections to allow discussants with a variety of goals and values to engage in discourse about which of a set of policy options represents the best reflective compromise.
Predicting Black Swan Events: The Final Frontier of Machine Learning?
Wonki Her (Seoul National University)
A Black Swan event is an event with the following three principal characteristics: (i) It is an outlier. (ii) It carries an extreme impact. (iii) After the event, we create an explanation (or a reasonable story) that makes it appear less random and more predictable than it was. World War I, the dissolution of the Soviet Union, the 9/11 attacks, and the death of the Inductivist Turkey are paradigmatic examples. Despite their outlier status, many people want to predict Black Swan events. This is because, if we can predict these Black Swan events, we can defend our lives from disastrous situations. Recently, some machine learning researchers have been trying to build Black Swan prediction machines. However, are these meaningful trials?
In this presentation, I will present a skeptical argument against building Black Swan prediction machines. For successful machine predictions, the following conditions need to be satisfied: (i) Large sets of high-quality training data, (ii) A well-defined prediction task, (iii) A well-defined target benchmark or specific standard to assess the prediction model, and (iv) Stable background conditions in the target domain.
As we know, in recent years, machine learning models have demonstrated incredible success (e.g., in Go, image recognition, and protein structure prediction). In these cases, the design and training of machine learning models meet the conditions above well. However, unlike games or natural science research, predicting rare social events is difficult because those conditions are hard to satisfy.
First, Black Swan events are very rare, making it difficult to prepare a sufficiently large and high-quality dataset for discovering patterns. Second, defining the prediction task itself is challenging. For instance, should we define it as an event in which 5% of the global population dies within five years? Or should it be defined as an event causing a loss of 1 trillion dollars? Similarly, it is difficult to establish criteria for evaluating prediction models. Most importantly, because our social environment is constantly changing, it is unlikely that a successful Black Swan prediction model will remain effective in the future.
Beyond environmental changes, we also adjust our behavior based on predictions, which introduces the so-called “Preparedness Paradox.” If we predict a Black Swan event, we will take actions to prevent its occurrence. If these actions are successful, the Black Swan event will not happen. The problem is that in this case, we cannot determine whether the prediction model was useful or not because we do not have something like a twin Earth to test our predictions or treatments.
In conclusion, building a Black Swan prediction model is not only extremely difficult but also challenging to evaluate, even if we succeed in creating one.
Contributed Talks 4
Beyond Opacity: Why Implementation Details Matter in Understanding ML Models
Hyung Suk Lee (Seoul National University)
Scientists rely on hypotheses, theories, and models to grasp and justify phenomena. In contrast, Machine Learning (ML) models, introduced to compensate for the limitations of human cognitive capacity, do not rely on theories, laws, mechanisms, or scientific models. Instead, ML models seek a data model that represents the correct correspondence between the input and output data provided for training. Consequently, the data-driven models produced by ML are largely opaque and incomprehensible to humans.
In this situation, there is concern that the scientific values of explanation and understanding will be undermined if scientists increasingly adopt opaque and less understandable ML models for prediction or inference. As the use of ML for scientific purposes is steadily growing, the inability to understand and explain the predictive results produced by ML raises the question of whether the goal of science is shifting from explanation to mere prediction.
In response, Sullivan(2022) argues that we are unnecessarily worried due to an improper diagnosis of the phenomenon in which our scientific understanding is limited when using ML models. The opacity of ML models does not harm our understanding; the real problem, she claims, is the lack of scientific evidence linking ML models to phenomena. She argues that to promote explanation and understanding of the real world, we must secure evidence connecting models and phenomena, and that knowing more about the internal implementation state of a model does not increase our understanding of the world.
I believe that Sullivan’s claim that implementation opacity does not hinder understanding of ML models is incorrect. She has merely turned her head away from a harsh reality. Without resolving implementation opacity, we cannot understand the predictions of ML models.
First, I will analyze the three examples provided by Sullivan (Schelling’s segregation model, melanoma detection model, and sexual orientation prediction model) to clarify what she means by “link uncertainty.” This analysis will demonstrate that the connection between model and phenomenon, as Sullivan describes it, is formed through two stages: first, replacing the ML model with a human-cognizable surrogate model, and second, connecting this surrogate model to a traditional scientific model that represents the phenomenon. Next, I will show that if we fail to grasp the implementation process of the ML model, even if the first stage of connection is achieved by replacing the ML model with a human-cognizable surrogate model using sufficiently developed xAI techniques, the success of the second stage can be highly precarious. Consequently, I argue that Sullivan’s claim that we can gain scientific understanding through ML models even without resolving implementation opacity is unacceptable, because without resolving implementation opacity, we cannot resolve link uncertainty.
AI as a Pathway to Scientific Knowledge?
Nikolaj Jang Lee Linding Pedersen (Yonsei University)
Jens Christian Bjerring (Aarhus University)
Artificial Intelligence is increasingly positioned as a transformative tool in the pursuit of scientific knowledge, reshaping how we collect, analyze, and interpret data. But under what conditions can an AI system produce scientific knowledge?
Reliability is required for knowledge (or so we shall assume here). A true belief qualifies as knowledge only if it is formed via a reliable belief-forming method or process (i.e. one that generates mostly true beliefs). Thus, true AI-based scientific beliefs qualify as knowledge only if they are formed via reliable AI methods or belief-forming processes (i.e. methods or processes that take AI outcomes as input and deliver beliefs as outputs). We argue that, while reliability may be a necessary condition for AI-based knowledge, it—together with truth—is not sufficient. Reliability must be supplemented by a condition which ensures that the relevant AI belief-forming method or process does not take highly inaccurate inputs.
We home in on this condition through considerations on the distinctive nature of the types of errors that AI systems may make. AI systems can sometimes make “crazy” or “astounding” errors—e.g., classifying a bird as a car. These kinds of errors seem qualitatively different from those that humans would typically make. They do not merely reflect minor inaccuracies but instead reveal extreme failures seemingly disconnected from the data being processed.
It is epistemically risky to form beliefs via methods or processes that take such mistaken AI-generated outcomes as inputs, as it undermines the prospects of knowledge. This point is articulated and argued within a framework featuring two levels of epistemic evaluation: the epistemic value of belief outputs of methods or processes and the accuracy of their inputs. Epistemic value is trichotomous. There are three epistemic values: truth, falsity, and knowledge. Accuracy takes values in the unit interval, i.e. real numbers in [0; 1].
The condition that belief-forming methods and processes not take highly inaccurate inputs is a maximin-style condition. The minimum accuracy of inputs must not be too low. Failing this condition means forming beliefs via a method or process that sometimes takes highly inaccurate inputs. This is epistemically risky as it is incompatible with knowledge. Hence, highly inaccurate inputs undermine the prospects of knowledge.
We offer the following diagnosis of the connection between high inaccuracy and knowledge: for a belief-forming method or process that takes outputs from source S as input, the competence of S is undermined if some of S’s outputs are wildly inaccurate. However, a source’s failure to be competent means that it cannot serve as a basis for knowledge—even if forming beliefs on the basis of its deliverances leads to the formation of mostly true beliefs. Thus, AI systems that sometimes deliver highly inaccurate outputs cannot serve as the basis of knowledge, even if most beliefs formed on the basis of their outputs are true. This is because such AI systems fail to exhibit competence.
번역
Translated by Claude
1일차 (2월 25일)
| 시간 | 행사 | 발표자 |
|---|---|---|
| 09:30-10:00 | 등록 | |
| 10:00-10:10 | 개회식 | 환영사 정성규 (서울대학교 IDIS 원장)개회사 전현득 (서울대학교) |
| 10:10-11:00 | 초청 강연 1 | AI의 발전으로 과학을 재정의할 수 있을까? 고인석 (인하대학교) |
| 11:00-11:10 | 휴식 | |
| 11:10-12:00 | 초청 강연 2 | 예측적으로 유효한 “외계인적” 특성인가, 인공물인가? 이해불가능한 과학적 진보에 대처하기 카메론 버크너 (플로리다 대학교) |
| 12:00-13:30 | 점심 | |
| 13:30-14:50 | 일반 발표 1 | 도구 그 이상: 코딩 AI와의 협업이 인지, 행위성, 그리고 주관성을 재형성하는 방식 권유빈 (서울대학교)분산적이고 확률적인 표상 모델 최이선 (이화여자대학교) |
| 14:50-15:10 | 휴식 | |
| 15:10-16:00 | 초청 강연 3 | 전체론자를 위한 고립주의 앙드레 커티스-트루델 (신시내티 대학교) 에밀리 설리반 (유트레히트 대학교) |
| 16:00-16:10 | 휴식 | |
| 16:10-18:10 | 일반 발표 2 | 인공적 가능성 보야나 그루지치치 (막스 플랑크 인지 스쿨) 증강된.지성: 과학적 이해에서 확장된 마음으로서의 AI 우인진 (성균관대학교)자율무기체계와 정의로운 전쟁 이론: 정전론(Jus in Bello) 원칙에 대한 비판적 재평가 김상수 (육군사관학교) |
2일차 (2월 26일)
| 시간 | 행사 | 발표자 |
|---|---|---|
| 09:30-09:40 | 등록 | |
| 09:40-10:30 | 초청 강연 4 | AI와 과학적 발견의 논리 여연경 (동덕여자대학교) |
| 10:30-10:40 | 휴식 | |
| 10:40-12:00 | 일반 발표 3 | 예측, 투영, 그리고 수행성 콘스탄틴 제닌 (튀빙겐 대학교) 블랙 스완 이벤트 예측하기: 머신러닝의 최종 개척지? 허원기 (서울대학교) |
| 12:00-13:30 | 점심 | |
| 13:30-14:20 | 초청 강연 5 | 찾고 있(지 않)는 것을 발견하기: AI 주도 발견의 전망과 도전 앙드레 커티스-트루델 (신시내티 대학교) |
| 14:20-14:30 | 휴식 | |
| 14:30-15:20 | 초청 강연 6 | 설명 가능한 AI의 도덕적 중요성 케이트 브레덴버그 (런던 정치경제대학) |
| 15:20-15:40 | 휴식 | |
| 15:40-16:30 | 초청 강연 7 | 의료분야의 파운데이션 모델은 신뢰성에 대한 재고를 요구한다 토마스 그로테 (튀빙겐 대학교) |
| 16:30-16:40 | 휴식 | |
| 16:40-18:00 | 일반 발표 4 | 불투명성을 넘어서: ML 모델 이해에 있어 구현 세부사항이 중요한 이유 이형석 (서울대학교)AI는 과학적 지식의 경로가 될 수 있는가? 니콜라이 장 리 린딩 페더슨 (연세대학교) 옌스 크리스티안 비예링 (오르후스 대학교) |
| 18:00-18:10 | 폐회 |
초록
초청 강연 1
AI의 발전으로 과학을 재정의할 수 있을까?
고인석 (인하대학교)
T. S. 쿤에 따르면, 과학은 전문화된 연구 영역에서 아직 해결되지 않은 퍼즐을 해결하는 집단적 활동이며, 이 활동은 구체적인 문제 해결의 하나 이상의 모범적인 사례에 의해 안내됩니다. 오늘날, AI가 필수적인 도구로 활용되는 과학 연구 사례가 점점 더 많아지고 있습니다. AI 에이전트들은 퍼즐을 해결하려는 주관적 동기를 가지고 있지 않지만, 쿤적인 방식으로 일부 퍼즐을 해결하거나, 적어도 (인간) 과학자들이 그렇게 할 수 있도록 도와주는 강력한 행위자로 등장할 것입니다. 이는 과학, 과학자, 그리고 과학적 연구의 개념이 변화할 것임을 시사합니다. AI의 발전이 우리로 하여금 과학을 재정의하도록 이끌 것인가? 저는 이 질문을 여러 관점에서 논의할 것입니다.
초청 강연 2
예측적으로 유효한 “외계인적” 특성인가, 인공물인가? 이해불가능한 과학적 진보에 대처하기
카메론 버크너 (플로리다 대학교)
AlphaFold와 같은 시스템은 많은 과학적 분석 영역에서 수작업으로 설계된 분석 모델의 이전 성능 상한선을 훨씬 뛰어넘는 예측적 AI 시스템의 전망을 제시합니다. 인간의 과학적 이론이 해결하기에 너무 복잡하거나 혼란스럽다고 여겨졌던 문제에서 예측 정확도를 달성할 수 있는 이러한 시스템의 결과에 동의하지 않기는 어렵습니다. 그러나 이러한 모델들은 어떤 면에서는 인간의 인지적 이해를 넘어서는 특성에 기반하여 예측할 수 있습니다 - 예측적 유용성은 있지만 우리에게 자연스럽거나 인지적으로 접근 가능하지 않은 “외계인적” 속성들입니다. 이 강연에서는 적대적 공격(adversarial attacks)에 대한 논의로 시작하여 이러한 특성들을 분석하고, 데이터 분석을 위해 점점 더 복잡한 딥러닝 모델에 의존하는 과학적 체제에서 이러한 인식론적 상황에 대처하는 방법을 논의할 것입니다.
초청 강연 3
전체론자를 위한 고립주의
앙드레 커티스-트루델 (신시내티 대학교)
에밀리 설리반 (유트레히트 대학교)
모델은 종종 그들의 대상 현상을 이상화합니다. 그러나 언제 이상화가 성공적이며 어떻게 이상화를 평가할 수 있을까요? 전체론자들은 모델과 그 이상화를 정당화하고 평가하는 것이 전체론적으로 진행되어야 하며 모델의 개별 부분을 집계하거나 평가하는 기능이 될 수 없다고 주장합니다. 전체론적 주장은, 다양한 압력점에서 발생합니다. 일부 매우 복잡한 모델의 경우, 불투명성과 모델의 다른 부분들 간의 상호작용의 복잡성으로 인해 모델 실패가 어디서 발생하는지 실질적으로 분리하기가 어렵습니다. 다른 경우에는, 고립주의가 더 근본적인 문제를 겪는 것으로 보입니다: 이상화는 모델 자체의 특성을 근본적으로 변경하지 않고는 제거하거나 분리할 수 없습니다. 이 강연에서는 머신러닝에서 매우 복잡한 모델인 AlphaFold의 예를 살펴봅니다. AlphaFold는 전체론적 프로젝트에 적합한 일종의 매우 복잡한 모델의 전형적인 예입니다. 그러나 우리는 AlphaFold의 이상화를 평가하고 그것이 성공에 기여하는 방식을 평가하기 위해 분해와 고립주의가 필요하며(실제로 가능하다고) 주장합니다. 결과적으로, 우리는 전체론자들이 고립주의적 프로젝트를 지지해야 한다고 주장합니다.
초청 강연 4
AI와 과학적 발견의 논리
여연경 (동덕여자대학교)
딥러닝 AI는 신뢰할 수 있는가? 정확한 단백질 구조 예측으로 유명한 딥러닝 AI인 AlphaFold2는 2024년 노벨 화학상을 수상했습니다. 그 경험적 성공은 분명히 인상적입니다. 그러나 많은 철학자들은 여전히 그것의 인식론적 불투명성에 대해 우려하고 있습니다. 다른 딥러닝 모델과 마찬가지로, AlphaFold2는 “블랙박스”로 작동하는데, 이는 내부 의사결정 과정이 완전히 해석 가능하지 않다는 것을 의미합니다. 이러한 투명성 부족은 근본적인 질문을 제기합니다: 언제 딥러닝 AI를 신뢰해야 하고, 언제 그렇지 않아야 하는가? 딥러닝 AI가 신뢰할 수 있다고 간주되기 위해 충족해야 하는 조건은 무엇인가? 과학적 지식이 딥러닝 AI만으로 도출될 수 있는가? 철학자들은 이러한 우려에 대해 광범위하게 논의해 왔으며, AlphaFold2와 AlphaFold3의 획기적인 성공으로 새로운 질문을 제기할 때입니다: 그들의 경험적 성과가 AlphaFold와 딥러닝 AI에 대한 철학자들의 회의적이거나 비관적인 견해에 도전할 수 있는가?
Duede(2023)는 딥러닝 AI가 타당한 가설을 생성하는 발견의 맥락에서는 가치가 있을 수 있지만, 과학적 주장이 엄격한 테스트와 확인을 필요로 하는 정당화의 맥락에서는 그렇지 않을 수 있다고 제안합니다. 그러나 이 오래된 구분이 딥러닝 AI를 옹호하는 유일한 방법인가요? AlphaFold2와 같은 인식론적으로 불투명한 시스템이 궁극적으로 신뢰할 수 없다고 결론지어야 하는가?
Ortmann(2025)은 why-reliability와 whether-reliability를 구분함으로써 이러한 회의론에 도전합니다. 그는 우리가 AlphaFold2가 왜 신뢰할 수 있는지 완전히 이해하지 못하더라도, 여전히 그것이 신뢰할 수 있는지 여부를 판단할 수 있다고 주장합니다. AlphaFold2의 whether-reliability는 이미 그것의 경험적 성공을 통해 입증되었습니다. 더욱이, 현대 과학 연구에서의 광범위한 채택은 그것의 whether-reliability에 대한 추가적인 지지를 제공합니다. 결국, 신뢰할 수 없는 도구는 과학적 실천에서 그렇게 광범위하게 사용되지 않을 것입니다.
그러나, 많은 회의적인 철학자들은 여전히 설득되지 않을 것입니다. 예를 들어, Duede(2022)는 단순한 귀납적 고려사항만으로는 충분하지 않으며, 투명성이 진정한 신뢰성에 필수적이라고 주장합니다. 마찬가지로, Mitchell(2020)은 신뢰성이 이론의 인식론적 보증과 지지 증거의 안정성의 조합에서 발생하기 때문에, 경험적 성공은 인식론적 보증을 동반해야 한다고 주장합니다.
이 발표는 Duede와 Mitchell에 대한 응답으로, 문제 해결 휴리스틱 집합으로 이해되는 발견의 논리가 AlphaFold와 딥러닝 AI에 필요한 인식론적 보증을 제공할 수 있는지 탐구합니다. 이 아이디어는 AlphaFold 개발의 기초가 되는 방법과 원칙이 그것의 why-reliability를 확립하기 위한 기초로 기능할 수 있다는 것입니다. AlphaFold의 창조를 이끈 휴리스틱을 명시함으로써, 우리는 AlphaFold와 딥러닝 AI에 요구되는 투명성에 대한 우려를 해결하기 위한 충분한 인식론적 보증을 제공할 수 있을지도 모릅니다.
초청 강연 5
찾고 있(지 않)는 것을 발견하기: AI 주도 발견의 전망과 도전
앙드레 커티스-트루델 (신시내티 대학교)
머신러닝(ML), 특히 딥러닝(DL) 시스템에 의한 최근의 중요한 과학적 성과는 자동화된 과학적 발견을 위한 ML에 대한 관심을 재활성화했습니다(예: Wang 외, 2023). 이러한 작업의 많은 부분은 DL 방법이 전통적인 이론 중심의 발견 접근법보다 더 효율적으로 현상, 가설, 심지어 모델이나 이론의 발견을 촉진할 수 있다는 생각에 의해 동기 부여됩니다. 이 강연은 최첨단 과학에서 자동화된, DL 주도 발견에 대한 더 구체적인 장애물 중 일부를 고려하며, 대표적인 사례 연구로 중력파 천체물리학(GWA)에 초점을 맞춥니다. 강연의 첫 번째 부분에서, 우리는 이러한 노력에도 불구하고 GWA에서 DL 주도 발견의 전망이 여전히 불확실하다고 주장합니다. 두 번째 부분에서, 우리는 DL이 기존의 발견 방법을 증강하거나 향상시키는 데 사용될 수 있는 방법과, 이러한 사용과 관련된 인식론적 미덕과 악덕에 대한 관심의 전환을 지지합니다. 우리는 이러한 많은 사용의 주요 인식론적 미덕이 퍼즐이나 이상 신호를 조사하는 것과 관련된 기회 비용을 감소시키는 것이며, 이러한 사용을 평가하기 위한 올바른 프레임워크는 추구가치성(pursuitworthiness)에 관한 철학적 작업에서 나온다고 주장합니다.
초청 강연 6
설명 가능한 AI의 도덕적 중요성
케이트 브레덴버그 (런던 정치경제대학)
AI 시스템을 이해하는 것은 인식론적으로뿐만 아니라 도덕적으로도 중요합니다. 이 강연에서, 저는 세 가지를 할 것입니다. 첫째, 우리가 예측 기계와 에이전트라고 부를 수 있는 두 가지 다른 유형의 AI 시스템에 대해 중요한 도덕적 가치에 대한 설명을 주장할 것입니다. 저는 예측 기계의 경우 정보에 입각한 자기 옹호를 가능하게 하는 것이 중요하며, 에이전트의 경우 신뢰와 대인 존중과 같은 가치가 중요하다고 주장합니다. 따라서 AI 시스템의 유형은 우리가 어떤 종류의 설명을 목표로 해야 하는지, 그리고 XAI에서의 상응하는 과학적 패러다임에 대한 영향을 미칩니다. 둘째, 예측 기계의 경우, 저는 신용 평가의 예를 사용하여 어떤 속성 P를 가진 사람이 되는 방법과 어떤 속성 P를 가진 사람으로 판단받는 방법을 설명하는 것 사이에 근본적인 긴장이 있다고 주장할 것입니다. 정적 모델링 선택과 불확실성 때문에, 둘은 분리됩니다. 후자는 수학적 관점에서 매력적이지만, 개인에 대한 실수 비용을 줄이는 배경 기관이 필요합니다. 그러나 전자는 정보에 입각한 자기 옹호를 적절히 가능하게 하지 않을 수 있습니다. 셋째, 저는 대인 간 정당화가 인공 에이전트를 포함한 에이전트에게 중요하지만, 정당화를 제공하기 위해서는 인공 에이전트가 부족한 이유와 사회적 규범에 대한 응답성이 필요하다고 주장할 것입니다.
초청 강연 7
의료분야의 파운데이션 모델은 신뢰성에 대한 재고를 요구한다
토마스 그로테 (튀빙겐 대학교)
파운데이션 모델이라고 불리는 새로운 종류의 AI 모델이 의료 분야에 진입했습니다. 파운데이션 모델은 신뢰성을 평가하기 위한 표준 머신러닝 패러다임의 몇 가지 기본 원칙을 위반합니다 - 그들은 훈련 중에 보았을 수 있는 데이터로 테스트되고, 다양하고 종종 불투명한 출처의 데이터로 훈련되며, 목적에 대한 적합성을 평가하기 어려운 출력을 생성합니다. 이러한 위반은 파운데이션 모델에 대한 보증된 신뢰를 확립하기 위해 우리가 어떤 보증을 요구하는지 재고할 필요가 있게 만듭니다.
일반 발표 1
도구 그 이상: 코딩 AI와의 협업이 인지, 행위성, 그리고 주관성을 재형성하는 방식
권유빈 (서울대학교)
AI와 함께 일한다는 것은, 무엇을 의미하는가? 효과적인 협업을 위해 어떤 변화가 필요한가? AI와의 협업이 인지, 행위성, 주관성에 대한 우리의 이해를 어떻게 재형성하는가?
AI는 학습, 문제 해결, 자율적 의사 결정과 같은 전통적으로 인간 인지와 관련된 기능을 수행할 수 있는 능력에서 이전 기술과 구별됩니다. OpenAI의 ChatGPT 출시 이후, 다양한 부문의 직장들은 생성형 AI를 워크플로우에 통합하고 인간-AI 팀을 관리하는 방법에 대한 중요한 질문을 불러일으키며 통합하는 방법을 탐색해 왔습니다.
소프트웨어 개발 커뮤니티에서, GitHub Copilot과 같은 코딩 AI 도구들은 빠르게 인기를 얻어 개발자들의 관행에 필수적이 되었습니다. 이 발표는 GitHub Copilot, Code Whisperer, Claude, ChatGPT를 포함한 코딩 AI를 정기적으로 사용하는 30명의 개발자들과의 심층 인터뷰와 그들의 워크플로우에 대한 관찰 연구에 기반합니다. 개발자들은 AI를 단순히 도구로 사용하는 것을 넘어서 - 그들은 AI를 조수, 파트너, 때로는 자신의 확장으로 대우합니다. 주목할 만하게, 개발자들은 의도와 목표를 AI에 적극적으로 “가르치고”, 반복적인 상호작용과 피드백을 통해 점차적으로 AI를 그들의 ’디지털 분신’으로 형성합니다. 이는 개발자들이 단순히 AI에 작업을 위임하는 것이 아니라 - 자신의 사고 과정을 AI와 공유하고 있음을 보여줍니다.
인지 및 인간-기계 인터페이스 프레임워크를 사용하여, 이 발표는 인간과 비인간 행위성 모두의 역할을 강조하며 인간-AI 협업에서 행위성의 역동적인 전개를 탐구합니다. 분산 인지와 인지적 조립체와 같은 프레임워크는 이러한 상호작용에서 인지 과정이 어떻게 재분배되고 재구성되는지 조명합니다. 개발자들은 점점 더 AI를 단순한 도구가 아니라 자신의 인지 과정의 확장으로 보게 되어, 인지적 조립체라고 부를 수 있는 것이 됩니다. 인간 개발자와 코딩 AI 사이의 상호작용 분석을 통해, 이 발표는 AI와의 일상적인 상호작용에서 인지와 행위성의 복잡한 얽힘을 반영하는 확장된 주관성 개념의 필요성을 보여줍니다.
분산적이고 확률적인 표상 모델
최이선 (이화여자대학교)
세계의 표상은 어떻게 구성되는가? 대략적으로 말하자면, 표상 시스템은 외부 소스로부터 데이터를 받아, 입력 시스템을 통해 그것을 인코딩하고, 내부 시스템에서 이 인코딩된 정보를 결합하여 작업 메모리에 전달하고 유지합니다. 우리의 세계 표상은 가필드, 톰, 체셔와 같은 개별 엔티티에 대한 정보뿐만 아니라 고양이와 같은 범주에 대한 표상도 포함합니다. 이러한 범주를 개념이라고 합니다. 우리는 개념을 사용하여 세계를 표상합니다.
인공지능에서의 표상 시스템에 관한 연구는 크게 두 과정으로 나눌 수 있습니다. 첫 번째는 개념 적용 과정으로, 새롭게 제공된 정보가 기존 개념적 프레임워크 내에서 어떻게 분류되는지 설명합니다. 두 번째는 개념 형성 과정으로, 데이터를 기반으로 새로운 개념이 어떻게 생성되는지 설명합니다. 이 연구는 후자에 초점을 맞추어, 개념 형성을 통해 세계 표상이 어떻게 결정되는지 논의합니다.
이 연구는 인공지능과 인지과학의 두 가지 주요 이론인 분산 표상(distributed representation)과 확률적 표상(probabilistic representation)을 통합하는 새로운 표상 이론을 제안합니다. 딥러닝의 핵심 이론인 분산 표상, 특히 자연어 처리와 컴퓨터 비전에서는 여러 차원으로 구성된 특징 공간에 데이터를 배치합니다. 예를 들어, 고양이 이미지는 윤곽, 모서리, 색상, 질감과 같은 저수준 특징을 추출하여 표현되고, 이것은 “귀를 가짐” 또는 “꼬리를 가짐”과 같은 더 복잡한 특징으로 결합됩니다. 이 특징 공간은 고차원 좌표계로 볼 수 있으며, 각 특징은 축으로 작용하고, 입력 데이터는 이 공간에서 단일 점 또는 벡터로 표현됩니다. 하나의 점은 다양한 특징의 조합으로 이해될 수 있습니다.
반면에, 확률적 표상 모델은 개념 형성 과정을 특정 우도 함수를 사용하여 특징 공간에서 데이터 클러스터를 분석하는 것으로 해석합니다. 밀집된 데이터 클러스터, 특히 다른 클러스터와 분리된 클러스터는 단일 개념으로 개별화될 가능성이 더 높습니다. 반대로, 희소한 클러스터나 여러 클러스터가 있는 패턴은 여러 개념으로 해석될 가능성이 더 높습니다. 이 모델은 “신의 관점”과 같은 특권적인 세계 표상이 존재하지 않는다고 가정하고, 동일한 데이터를 기반으로 다양한 관찰자가 동등한 세계 표상을 구성할 가능성을 열어줍니다. 이는 인간 표상의 특성과 일치하며 새로운 개념의 출현 조건도 설정합니다.
그러나 다른 세계 표상 모델이 존재한다면, 그것들은 서로 번역 가능해야 합니다. 그렇지 않으면 각 모델은 고립적으로 유아론적인 위험이 있습니다. 이 연구는 Kullback-Leibler 발산에 기반한 정량적 지표를 사용하여 서로 다른 특징 공간에서 개념의 일치도를 평가하고, 개념 간의 일관성과 차이를 평가하는 방법을 제안합니다.
그럼에도 불구하고, 분산 표상과 확률적 표상의 통합에는 몇 가지 제한이 따릅니다. 예를 들어, 특징 공간의 구성 - 어떤 특징과 얼마나 많은 특징이 포함되는지 - 은 동일한 외부 입력 데이터에 대해 완전히 다른 클러스터로 이어질 수 있습니다. 이러한 불일치는 모델 간에 개념 기반 클러스터를 번역하는 것을 어렵게 만들고, 모든 세계 표상 모델이 특징 공간의 동일한 차원 구조를 공유한다고 가정하는 것의 제약을 강조합니다. 이 연구는 이러한 제한이 표상 모델 설계에 미치는 영향을 탐구하고 통합된 표상 이론의 가능성과 경계를 조사합니다.
일반 발표 2
인공적 가능성
보야나 그루지치치 (막스 플랑크 인지 스쿨)
과학은 종종 사고 실험과 모델링을 통해 가능성, 우연성, 필연성과 관련된 문제를 다룹니다. 이 발표는 인지 과학에서 딥 뉴럴 네트워크를 사용함으로써 얼마나 많은 양식적 과학적 이해를 얻을 수 있는지 논의합니다. 신경망의 인식론적으로 유용한 특징 중 하나는 실행 가능성입니다 - 신경망은 인지적 작업을 수행하도록 훈련될 수 있으며, 새로운 자극이 주어졌을 때 실행될 수 있어 귀납적 편향 집합에 기반한 인지 현상의 가능성을 보여줍니다. 저는 가능성에 대한 신경망 기반 추론의 정당화 문제에 초점을 맞추고 타당한 정당화 전략을 개략적으로 설명합니다. 저는 신경망이 보여주는 가능성을 생물학적 가능성이 아닌 기술적 가능성으로 간주하는 여러 이유를 고려합니다. 그럼에도 불구하고, 저는 그것들이 인지 현상에 대한 우리의 양식적 과학적 이해에 기여한다고 주장합니다.
증강된 지성: 과학적 이해에서 확장된 마음으로서의 AI
우인진 (성균관대학교)
이 논문에서, 저는 인공지능(AI)이 (사회적으로) 확장된 인지의 메커니즘을 통해 과학적 이해를 발전시킨다고 주장합니다. 많은 연구자들은 AI가 AGI에 도달하면 의도성과 자율성과 같은 행위자성의 특정 조건을 만족시킬 수 있다고 추측합니다. 확장된 인지의 개념적 프레임워크를 검토하고 Pritchard와 Khalifa의 인식론적 관점을 통합함으로써, 저는 AI가 어떻게 전통적인 도구 기반 인지를 초월하여 과학적 이해의 적극적인 참여자가 되는지 보여드립니다.
AI는 Chalmers와 Clark(1998)이 정의한 대로 확장된 인지로 간주될 수 있습니다. 확장된 인지는 인간의 인지 과정을 외부 환경이나 도구와 통합하는 것을 포함합니다. 세 가지 필수 조건이 충족되어야 합니다: 신뢰할 수 있는 결합, 직접적인 가용성, 자동적인 승인입니다. AI는 일관되고 신뢰할 수 있게 작동하면서 인간 생활에 깊이 통합되어 있습니다(예: AI 비서). AI는 질문이나 명령에 즉시 응답하여 실시간으로 인간의 인지적 요구를 지원합니다. AI 시스템은 반복적인 사용과 긍정적인 경험을 통해 사용자의 신뢰를 얻습니다. 스마트폰이 초기 기술적 한계에도 불구하고 확장된 인지로 기능할 수 있는 잠재력을 보여준 것처럼, AI 또한 확장된 인지를 구성할 잠재력을 가지고 있습니다(Helliwell, 2019).
확장된 인지의 개념을 기반으로, 이제 사회적으로 확장된 인지의 아이디어로 눈을 돌립니다. Pritchard(2022)는 협업이 이해에 어떻게 기여하는지 강조함으로써 과학적 지식을 설명합니다. 사회적으로 확장된 인지는 다른 사람들의 정보 처리 활동이 개인의 인지 과정에 통합되어 개인 능력을 넘어선 지식으로 이어질 때 발생합니다. AI가 행위자성을 가지고 있다면, 그것은 우리의 사회적으로 확장된 인지의 일부로 기능할 수 있습니다. AI는 직접적인 가용성이 부족할 수 있는 인간 협업과 달리, 인간과의 협업을 통해 인지 과정을 지원하고 보완합니다. AI는 이러한 제한을 최소화하거나 제거하여 사회적으로 확장된 인지의 형태로서의 역할을 강화합니다. Pritchard는 과학적 지식에 대한 논의를 제한했지만, 저는 그것을 과학적 이해에 관한 연구와 통합하는 것을 목표로 합니다.
이 사회적으로 확장된 인지가 단지 과학적 지식뿐만 아니라 과학적 이해를 어떻게 향상시키는지 파악하기 위해, 우리는 Khalifa의 EKS 모델로 눈을 돌립니다. Khalifa는 과학적 설명적 평가(SEEing)를 통해 얻은 설명적 지식이 이해의 핵심이라고 강조합니다. EKS 모델에서의 SEEing은 타당한 잠재적 설명의 범위를 고려하고 비교한 다음, 증거와 다른 설명적 고려사항에 기반하여 가장 설득력 있는 것을 선택하는 과정입니다. 이 과학적 탐구 과정은 단순한 믿음을 넘어서 우연적이거나 우발적인 요소를 최소화하는 잘 정당화되고 신뢰할 수 있는 이해로 이어집니다. 따라서, AI는 도구로서든 협업 파트너로서든 SEEing을 향상시키는 데 중요한 역할을 합니다.
이 논의를 바탕으로, AI가 과학적 이해에 어떻게 기여하는지에 대한 과학자들의 연구(Krenn 외, 2022)에 대한 비판적 검토는 세 가지 주요 차원을 강조합니다: (1) 계산적 현미경, (2) 영감의 자원, (3) 이해의 에이전트입니다. 데이터 처리 및 평가 도구로서, AI는 연구자들이 잠재적 설명을 비교하고 가장 설득력 있는 것을 식별하는 능력을 향상시킵니다. 협력자로서, AI는 가설을 생성하고, 프레임워크를 정제하고, 인간의 인지를 향상시켜 과학적 평가를 강화합니다. 이러한 두 가지 역할을 통해, AI는 SEEing의 과정을 변형시켜 궁극적으로 향상된 과학적 이해에 기여합니다.
자율무기체계와 정의로운 전쟁 이론: 정전론(Jus in Bello) 원칙에 대한 비판적 재평가
김상수 (육군사관학교)
인공지능(AI)의 혁명적인 발전에 의해 주도되는 자율무기체계(AWS)의 출현은 현대 전쟁을 근본적으로 변화시켜, 정의로운 전쟁 이론(JWT) 프레임워크 내의 정전론(jus in bello) 원칙에 대한 비판적 재평가를 요구합니다. AI 혁신의 산물인 AWS는 독립적으로 작동하여 인간의 개입 없이 중요한 결정을 내림으로써 운영 효율성을 향상시킵니다. 그러나 그들의 자율성은 JWT 하에서 차별과 비례성의 핵심 원칙을 준수할 수 있는 능력에 대한 심각한 윤리적 우려를 제기합니다. 이러한 우려는 AWS가 인간의 생명에 직접적인 영향을 미치는 결정을 포함하는 무기 시스템이라는 점을 고려할 때 특히 중요하며, 그들의 사용을 관리하기 위한 강력한 윤리적 프레임워크의 긴급한 필요성을 강조합니다.
정전론은 전쟁 수행을 규제하는 일련의 윤리적 원칙으로, 전쟁에 관련된 모든 도덕적 행위자가 그 기준을 유지하도록 요구합니다. 국제적 맥락에서 널리 받아들여지는 기본적인 도덕적 지침으로서, 이러한 원칙들은 전쟁의 불가피한 상황에서도 개인의 존엄성과 권리를 보장하기 위한 최소한의 윤리적 프레임워크로 봉사합니다. 특히, 차별과 비례성은 무고한 민간인을 보호하고 무력 사용이 정당한 군사적 목표와 엄격하게 일치하도록 보장함으로써 전쟁의 도덕적 정당성을 유지하는 데 핵심적입니다.
차별의 원칙은 전투원과 비전투원 사이의 명확한 구분을 요구하여, 민간인과 다른 보호 대상을 불필요한 해로부터 보호합니다. 이 원칙은 의사 결정자가 복잡한 전장 시나리오를 평가하고 국제 인도주의법과 일치하는 판단을 내릴 수 있다고 가정합니다. 그럼에도 불구하고, 사전 프로그래밍된 알고리즘과 데이터셋에 의존하는 AWS는 역동적이고 예측 불가능한 환경에서 비전투원을 정확하게 식별하는 데 상당한 도전에 직면합니다. 불완전하거나 편향된 데이터셋이 AWS 의사 결정에 영향을 미칠 때, 차별 원칙의 심각한 위반 위험이 높아집니다.
비례성의 원칙은 군사 행동으로 인한 해악이 예상되는 군사적 이점과 균형을 이루어야 한다고 요구합니다. 이 원칙은 단순한 계산을 넘어서, 도덕적 및 맥락적 요소를 포함하는 미묘한 평가를 요구합니다. 그러나 AWS는 사전 정의된 매개변수에 기반하여 작동하여, 실제 상황의 복잡성을 고려하지 못할 가능성이 있습니다. 예상치 못한 결과의 가능성은 AWS가 실제로 비례성 원칙을 일관되게 유지할 수 있는지에 대한 의문을 더욱 제기합니다.
이 발표는 AWS가 차별과 비례성의 원칙을 효과적으로 준수할 수 있는지를 비판적으로 검토합니다. 전투원과 비전투원을 구별하고, 불법적인 목표를 피하고, 인간의 도덕적 기준에 부합하는 결정을 내리는 AWS의 기술적, 윤리적 능력을 평가합니다. 또한, AWS에 의한 치명적인 힘의 사용이 비례성 원칙 하에서 정당화될 수 있는지 탐구하고, 이러한 윤리적 원칙을 준수하기 위해 인간의 감독이 필요한 정도를 논의합니다.
발표는 세 가지 주요 논의를 중심으로 구성됩니다. 첫째, AWS의 기술적 특성과 운영 역할을 분석하여 JWT의 확립된 원칙과 일치하는지 평가합니다. 둘째, 차별과 비례성의 윤리적, 실질적 해석을 재평가하여 AWS에 적용 가능성을 결정합니다. 셋째, 현대 전쟁에서 AWS와 같은 첨단 기술이 제기하는 윤리적 도전을 반영하도록 정전론 원칙을 재구성하는 대안적 접근법을 제안합니다.
궁극적으로, 이 발표는 AI 혁신에서 기원하고 생명과 죽음의 의미를 가진 AWS를 면밀히 조사하는 윤리적 긴급성을 강조합니다. 정전론의 윤리적 경계 내에서 AWS를 평가하기 위한 프레임워크를 제공하여, 기술적 혁신과 도덕적 책임성의 균형을 맞추는 것을 목표로 합니다. 이 접근법은 정의와 인간성이 진화하는 분쟁의 맥락에서 중심에 남아 있도록 보장하면서 현대 전쟁의 윤리적 기준을 재정의하는 데 기여합니다.
일반 발표 3
예측, 투영, 그리고 수행성
콘스탄틴 제닌 (튀빙겐 대학교)
사회적 맥락에서 예측은 미래 결과에 대한 단순한 인과적으로 무력한 예견이 아니라 예측하려는 결과에 인과적 영향을 미친다는 것이 널리 인식되고 있습니다. 이는 특히 예측이 정책 결정에 직접적으로 영향을 미칠 때 그렇습니다. 예측이 자기 충족적이거나 자기 부정적일 수 있을 때, 실용적 고려사항과 인식론적 고려사항이 얽혀 있고, 정확성의 개념이 모호해집니다. 더욱이, 귀납적 위험의 개념은 재고되어야 합니다: 가치는 다른 종류의 오류의 결과를 고려해야 하기 때문에만 작용하는 것이 아니라, 예측이 잘못된 이유로 옳을 수 있다는 우려 때문에도 작용합니다. 수행성에 대처하는 방법에 대해 많은 제안이 이루어졌으며, 여기에는 수행적 효과를 “내재화”하거나, 사회적으로 바람직한 방향으로 결과를 유도하는 예측을 하는 것 등이 있습니다. 우리는 이러한 접근법이 잘못되었다고 주장합니다. 많은 바람직하지 않은 수행적 효과는 머신러닝 모델의 출력이 어떤 정책이 채택될 것인지 암묵적으로 추측하여 결과를 예측하는 예측과, 어떤 정책 옵션이 선택된다면 결과를 예측하는 반사실적 투영 사이에서 모호하기 때문에 발생합니다. 예측과 투영의 올바른 구별을 하면, 실용적 문제와 인식론적 문제를 깨끗하게 구별할 수 있습니다. 우리는 정확한 투영을 목표로 함으로써만 머신러닝 모델이 의사결정을 지원할 뿐만 아니라 담론을 지원할 수 있다고 주장합니다: 다양한 목표와 가치를 가진 논의자들이 정책 옵션 세트 중 어느 것이 최선의 반성적 타협을 나타내는지에 대한 담론에 참여할 수 있도록 관련 투영을 제공합니다.
블랙 스완 이벤트 예측하기: 머신러닝의 최종 개척지?
허원기 (서울대학교)
블랙 스완 이벤트는 다음 세 가지 주요 특성을 가진 이벤트입니다: (i) 그것은 이상치입니다. (ii) 그것은 극단적인 영향을 미칩니다. (iii) 이벤트 이후, 우리는 그것이 실제보다 덜 무작위적이고 더 예측 가능하게 보이도록 하는 설명(또는 합리적인 이야기)을 만듭니다. 제1차 세계 대전, 소련의 해체, 9/11 테러, 귀납주의자 칠면조의 죽음은 전형적인 예입니다. 그들의 이상치 상태에도 불구하고, 많은 사람들이 블랙 스완 이벤트를 예측하고 싶어합니다. 이는 우리가 이러한 블랙 스완 이벤트를 예측할 수 있다면, 재앙적인 상황으로부터 우리의 삶을 방어할 수 있기 때문입니다. 최근, 일부 머신러닝 연구자들은 블랙 스완 예측 기계를 구축하려고 시도해 왔습니다. 그러나, 이것들은 의미 있는 시도입니까?
이 발표에서, 저는 블랙 스완 예측 기계 구축에 대한 회의적인 논증을 제시할 것입니다. 성공적인 머신 예측을 위해서는 다음 조건들이 충족되어야 합니다: (i) 대량의 고품질 훈련 데이터, (ii) 잘 정의된 예측 작업, (iii) 예측 모델을 평가하기 위한 잘 정의된 대상 벤치마크 또는 특정 기준, (iv) 대상 도메인의 안정적인 배경 조건입니다.
우리가 알다시피, 최근 몇 년 동안 머신러닝 모델은 놀라운 성공을 보여주었습니다(예: 바둑, 이미지 인식, 단백질 구조 예측). 이러한 경우, 머신러닝 모델의 설계와 훈련은 위의 조건을 잘 충족합니다. 그러나, 게임이나 자연 과학 연구와 달리, 희귀한 사회적 이벤트를 예측하는 것은 그러한 조건을 충족하기 어렵기 때문에 어렵습니다.
첫째, 블랙 스완 이벤트는 매우 희귀하여, 패턴을 발견하기 위한 충분히 크고 고품질의 데이터셋을 준비하기 어렵습니다. 둘째, 예측 작업 자체를 정의하는 것이 어렵습니다. 예를 들어, 5년 내에 세계 인구의 5%가 사망하는 이벤트로 정의해야 할까요? 아니면 1조 달러의 손실을 초래하는 이벤트로 정의해야 할까요? 마찬가지로, 예측 모델을 평가하기 위한 기준을 설정하기도 어렵습니다. 가장 중요하게는, 우리의 사회적 환경이 끊임없이 변화하고 있기 때문에, 성공적인 블랙 스완 예측 모델이 미래에도 효과적으로 유지될 가능성이 낮습니다.
환경 변화 외에도, 우리는 예측에 기반하여 행동을 조정하는데, 이는 소위 “준비성 역설”을 도입합니다. 블랙 스완 이벤트를 예측하면, 우리는 그것의 발생을 방지하기 위한 조치를 취할 것입니다. 이러한 조치가 성공적이라면, 블랙 스완 이벤트는 발생하지 않을 것입니다. 문제는 이 경우, 우리의 예측이나 치료를 테스트할 수 있는 쌍둥이 지구와 같은 것이 없기 때문에 예측 모델이 유용했는지 여부를 결정할 수 없다는 것입니다.
결론적으로, 블랙 스완 예측 모델을 구축하는 것은 매우 어려울 뿐만 아니라, 만약 성공하더라도 평가하기 어렵습니다.
일반 발표 4
불투명성을 넘어서: ML 모델 이해에 있어 구현 세부사항이 중요한 이유
이형석 (서울대학교)
과학자들은 현상을 파악하고 정당화하기 위해 가설, 이론, 모델에 의존합니다. 반면에, 인간 인지 능력의 한계를 보완하기 위해 도입된 머신러닝(ML) 모델은 이론, 법칙, 메커니즘, 또는 과학적 모델에 의존하지 않습니다. 대신, ML 모델은 훈련을 위해 제공된 입력과 출력 데이터 사이의 올바른 대응을 나타내는 데이터 모델을 찾습니다. 결과적으로, ML에 의해 생성된 데이터 중심 모델은 대부분 불투명하고 인간이 이해하기 어렵습니다.
이러한 상황에서, 과학자들이 예측이나 추론을 위해 불투명하고 이해하기 어려운 ML 모델을 점점 더 채택한다면 설명과 이해의 과학적 가치가 훼손될 것이라는 우려가 있습니다. 과학적 목적을 위한 ML 사용이 꾸준히 증가함에 따라, ML이 생성한 예측 결과를 이해하고 설명할 수 없는 것은 과학의 목표가 설명에서 단순한 예측으로 이동하고 있는지에 대한 의문을 제기합니다.
이에 대응하여, Sullivan(2022)은 ML 모델을 사용할 때 우리의 과학적 이해가 제한되는 현상에 대한 부적절한 진단으로 인해 우리가 불필요하게 걱정하고 있다고 주장합니다. ML 모델의 불투명성은 우리의 이해를 해치지 않습니다; 그녀가 주장하는 실제 문제는 ML 모델과 현상을 연결하는 과학적 증거의 부족입니다. 그녀는 실제 세계의 설명과 이해를 촉진하기 위해서는 모델과 현상을 연결하는 증거를 확보해야 하며, 모델의 내부 구현 상태에 대해 더 많이 아는 것이 세계에 대한 우리의 이해를 증가시키지 않는다고 주장합니다.
저는 구현 불투명성이 ML 모델의 이해를 방해하지 않는다는 Sullivan의 주장이 잘못되었다고 생각합니다. 그녀는 단지 가혹한 현실에서 고개를 돌렸을 뿐입니다. 구현 불투명성을 해결하지 않고는 ML 모델의 예측을 이해할 수 없습니다.
첫째, 저는 Sullivan이 제공한 세 가지 예(Schelling의 분리 모델, 흑색종 감지 모델, 성적 지향 예측 모델)를 분석하여 그녀가 말하는 “링크 불확실성”이 무엇을 의미하는지 명확히 할 것입니다. 이 분석은 Sullivan이 설명하는 모델과 현상 사이의 연결이 두 단계를 통해 형성된다는 것을 보여줄 것입니다: 첫째, ML 모델을 인간이 인식할 수 있는 대리 모델로 대체하고, 둘째, 이 대리 모델을 현상을 나타내는 전통적인 과학적 모델에 연결하는 것입니다. 다음으로, 저는 ML 모델의 구현 과정을 파악하지 못하면, 충분히 발전된 xAI 기술을 사용하여 ML 모델을 인간이 인식할 수 있는 대리 모델로 대체함으로써 연결의 첫 번째 단계가 달성되더라도, 두 번째 단계의 성공이 매우 불안정할 수 있음을 보여줄 것입니다. 결과적으로, 저는 구현 불투명성을 해결하지 않고도 ML 모델을 통해 과학적 이해를 얻을 수 있다는 Sullivan의 주장이 받아들일 수 없다고 주장합니다. 왜냐하면 구현 불투명성을 해결하지 않고는 링크 불확실성을 해결할 수 없기 때문입니다.
AI는 과학적 지식의 경로가 될 수 있는가?
니콜라이 장 리 린딩 페더슨 (연세대학교)
옌스 크리스티안 비예링 (오르후스 대학교)
인공지능은 데이터를 수집, 분석, 해석하는 방식을 재형성하며 과학적 지식을 추구하는 데 있어 변혁적인 도구로서 점점 더 자리매김하고 있습니다. 그러나 어떤 조건 하에서 AI 시스템이 과학적 지식을 생산할 수 있을까요?
지식에는 신뢰성이 요구됩니다(여기서는 그렇게 가정할 것입니다). 진실된 믿음은 신뢰할 수 있는 믿음 형성 방법이나 과정(즉, 대부분 참된 믿음을 생성하는 것)을 통해 형성된 경우에만 지식으로 자격을 갖습니다. 따라서, 진실된 AI 기반 과학적 믿음은 신뢰할 수 있는 AI 방법이나 믿음 형성 과정(즉, AI 결과를 입력으로 취하고 믿음을 출력으로 전달하는 방법이나 과정)을 통해 형성된 경우에만 지식으로 자격을 갖습니다. 우리는 신뢰성이 AI 기반 지식의 필요 조건일 수 있지만, 진실과 함께 충분하지 않다고 주장합니다. 신뢰성은 관련 AI 믿음 형성 방법이나 과정이 매우 부정확한 입력을 취하지 않도록 보장하는 조건으로 보완되어야 합니다.
우리는 AI 시스템이 만들 수 있는 오류의 특징적 성격에 대한 고려를 통해 이 조건에 집중합니다. AI 시스템은 때때로 “미친” 또는 “놀라운” 오류를 범할 수 있습니다 - 예를 들어, 새를 자동차로 분류하는 것과 같은 오류입니다. 이러한 종류의 오류는 인간이 일반적으로 범하는 오류와 질적으로 다른 것으로 보입니다. 그것들은 단순히 사소한 부정확성을 반영하는 것이 아니라 처리되는 데이터와 연결되지 않은 것처럼 보이는 극단적인 실패를 드러냅니다.
이런 잘못된 AI 생성 결과를 입력으로 취하는 방법이나 과정을 통해 믿음을 형성하는 것은 지식의 전망을 훼손하기 때문에 인식론적으로 위험합니다. 이 점은 두 수준의 인식론적 평가를 특징으로 하는 프레임워크 내에서 명확히 되고 주장됩니다: 방법이나 과정의 믿음 출력의 인식론적 가치와 그 입력의 정확성입니다. 인식론적 가치는 삼분법적입니다. 세 가지 인식론적 가치가 있습니다: 진실, 거짓, 그리고 지식입니다. 정확성은 단위 간격, 즉 [0; 1]의 실수 값을 취합니다.
믿음 형성 방법과 과정이 고도로 부정확한 입력을 취하지 않아야 한다는 조건은 최대최소 스타일의 조건입니다. 입력의 최소 정확성이 너무 낮지 않아야 합니다. 이 조건을 충족하지 못한다는 것은 때때로 고도로 부정확한 입력을 취하는 방법이나 과정을 통해 믿음을 형성한다는 것을 의미합니다. 이는 지식과 양립할 수 없기 때문에 인식론적으로 위험합니다. 따라서, 고도로 부정확한 입력은 지식의 전망을 훼손합니다.
우리는 높은 부정확성과 지식 사이의 연결에 대해 다음과 같은 진단을 제공합니다: 소스 S로부터의 출력을 입력으로 취하는 믿음 형성 방법이나 과정의 경우, S의 일부 출력이 극도로 부정확하다면 S의 역량이 훼손됩니다. 그러나, 소스가 역량을 갖추지 못한다는 것은 그것의 전달에 기반하여 믿음을 형성하는 것이 대부분 참된 믿음으로 이어진다 하더라도 지식의 기초로 기능할 수 없다는 것을 의미합니다. 따라서, 때때로 고도로 부정확한 출력을 제공하는 AI 시스템은 그들의 출력에 기반하여 형성된 대부분의 믿음이 참이라고 하더라도 지식의 기초로 기능할 수 없습니다. 이는 그러한 AI 시스템이 역량을 보여주지 못하기 때문입니다.